•  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
더 보기

VOD BS 작업(r20 Blame)

r20
r1
mrkim

(새 문서) 		1[목차]
2== 개요 ==
3VOD 서버 BS 작업 시 참고 할만한 체크리스트를 작성 하였다.
4
r16
mrkim
5== 작업 중 장애 트러블 슈팅 ==
6서버 부팅중 발생한 내용은 [[서버 행업 시 트러블 슈팅|행업 트러블 슈팅]] 관련 문서 확인
r13
mrkim
7
r15
mrkim
8===# VOD 관련 작업 중 발생했던 장애 #===
r13
mrkim
9
r18
mrkim
10 *현상 : VOD 서버 BS 작업 후 서비스 투입 직후 pause가 되는 현상
11 *원인 : 서비스 투입 당시 LB[* LoadBalancer2]가 '''/var/log/castis/lb_log/'''에 기록되는 KSMS_Live 스크립트의 Error 로그를 탐지해 Hang-Up이라 판단해 pause 시킨다.
12 *확인 및 조치 방법 : [br] 1. Error 로그 확인 [br] '''# find /var/log/castis/lb_log/ -mmin -10 -name "*_Load*" 2>/dev/null \ | xargs grep "Cannot Connect to Server for RefreshStorageUsage" \ | awk '{print $(NF-4)}' | cut -d, -f1''' [br] 3. 아래와 같은 로그 확인 시 '''n분 뒤 다시 서비스 투입''' [br] ''' Cannot Connect to Server for RefreshStorageUsage (ID …)'''
r13
mrkim
13== 작업 관련 프로세스 ==
14
r16
mrkim
15||<-2> '''프로세스 및 포트 정보''' ||
r13
mrkim
16||<width=70%> '''프로세스 명''' ||<width=30%> '''포트 번호''' ||
17|| [[CiHVODServer|CiHVODServer]] || 554 ||
r14
mrkim
18|| ADM || 40080 ||
19|| ADS || 30000 ||
r9
kskim
20|| NetIOServer3 || 32128 ||
r20
mrkim
21|| [[cache_server|cache_server ]] || 8081 ||
r10
mrkim
22|| CiMonitoringAgent || 30002 ||
r7
mrkim
23== VOD BS 작업 체크리스트 ==
24||<tablewidth=100%> 순서 || 체크 항목 || 명령어 || 기준 값 || 결과 ||
25||<|2> 사전 || 서버 공통 체크리스트 점검 || [[서버 공통 체크리스트|서버 공통 체크 리스트]] || 부팅전 상태 확인을 위한 점검 || ||
26|| [[GTV 서버 점검 스크립트|서버 점검 스크립트]] || /usr/local/castis/Server_Check.sh 7 VOD || 모든 항목이 이상없음 상태입니다. 문구 출력 시 정상. || ||
27||<|7> 부팅 후 || 시스템 로그 확인 || tail -F /var/log/messages[br]egrep -i "error|fail" /var/log/messages || Error/Fail 로그 없을 시 정상 || ||
28|| 서버 공통 체크리스트 점검 || [[서버 공통 체크리스트|서버 공통 체크 리스트]] || 부팅전 상태 확인을 위한 점검 || ||
r8
kskim
29|| 백업 환경 비교 || diff [사전 백업 파일] [현재 상태] || 부팅 전 백업한 파일과 상태가 동일할 시 정상 || ||
30|| [[CiHVODServer|VOD]] 로그 확인 || tail -F EventLog[2026xxxx].log[br]egrep -i "error|fail|no media|reset" || Error/Fail 로그 지속 여부 및 reset 수치 비교 시 정상 || ||
31|| (LSM) [[LoadBalancer2|LoadBalancer]] 로그 || egrep -i "error|fail" lb_log/* || Successfully New Setup Session 로그 지속 출력 시 정상 || ||
32|| (LSM) CiGLBServer 로그 || grep xxx.xxx.xxx.xxx glb_log/* || LSM 서버에서 세션 SetUp 성공 로그가 지속적으로 출력 시 정상 || ||
33|| [[GTV 서버 점검 스크립트|서버 점검 스크립트]] || /usr/local/castis/Server_Check.sh 7 VOD || 모든 항목이 이상없음 상태입니다. 문구 출력 시 정상. || ||